Learn Your Own Thoughts: Abstract Token Curriculum
学习自己的思考：抽象 Token 课程
🧭 课程学习训练隐式思维表示
UC Berkeley · UC San Diego · EPFL · Google DeepMind
提出抽象 Token 课程（ATC），无需显式思维链监督，通过课程学习在连续表示空间形成内部抽象思考
📌 工作参考价值（4 点）
- 在训练推荐/Agent 的规划与推理能力时，可采用课程学习思路：按任务难度（如多跳路径长度、图规模、算术复杂度）从易到难组织样本，让模型在连续隐藏状态中隐式形成推理步骤，省去逐条标注 CoT 的成本。
- 若业务需要多步推理但显式 CoT 延迟高或标注贵，可尝试在 Transformer 中间层引入可训练的抽象 token，配合渐进课程，将中间推理压缩到连续表示空间，降低推理时的 token 开销。
- 理论分析提示注意力会自然聚焦于上下文中提供“最容易路径”的 token；构造课程样本时可在早期保留关键捷径 token，帮助模型更快收敛，后期再逐步移除捷径以强化内部推理。
- 当前验证集中在图可达性与算术任务，属理论性实验；迁移到大规模电商/推荐场景前，需要先在真实多跳推理任务上做小规模验证。